开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前，所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型，以及训练此类模型所需的数据。与此同时，3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。
在游戏、影视制作、虚拟人和交互式内容创作等行业中，高质量的 3D 动画是实现真实感与表现力的基础。然而，传统计算机图形学中的动画制作通常依赖于骨骼绑定与关键帧编辑，这一流程虽然能够带来高质量与精细控制，但需要经验丰富的艺术家投入大量人力与时间，代价昂贵。
只需要一句话或一张图片，就能生成360度全景3D世界。
在复杂的城市场景中，HERMES 不仅能准确预测未来三秒的车辆与环境动态（如红圈中标注的货车），还能对当前场景进行深度理解和问答（如准确识别出 “星巴克” 并描述路况）。
现在这个时代，啥都讲究一句话生成。一句话P图、一句话写文案、生成画作、音乐、视频… 不过这些，在今天的想法面前，都显得有些弱了。
最近体验了一个 AI 工具的内测版本，确实跟之前见到的AI产品不太一样。 它做的事情是：一句话，生成一个完整可玩的3D游戏。
3D生成的行业新标杆，这一次由国产玩家树立。 万万没想到，这样一个堪比游戏全景视角的场景，竟然只由一张图片生成？！
中国自研世界模型Matrix-3D只需单张图就能生成可自由探索的3D世界，不仅效果对标李飞飞的World Labs，而且还能实现更大范围的探索空间，率先进入AI理解世界的前沿领域。
北京大学提出了ReMoMask：一种全新的基于检索增强生成的Text-to-Motion框架。它是一个集成三项关键创新的统一框架：（1）基于动量的双向文本-动作模型，通过动量队列将负样本的尺度与批次大小解耦，显著提高了跨模态检索精度；（2）语义时空注意力机制，在部件级融合过程中强制执行生物力学约束，消除异步伪影；（3）RAG-无分类器引导结合轻微的无条件生成以增强泛化能力。
在人工智能快速发展的今天，我们已逐渐习惯于让 AI 识别图像、理解语言，甚至与之对话。但当我们进入真实三维世界，如何让 AI 具备「看懂场景」、「理解空间」和「推理复杂任务」的能力？这正是 3D 视觉语言模型（3D VLM）所要解决的问题。
